Sau khi Tổng thống Tưởng Giới Thạch qua đời vào ngày 5 tháng 4 năm 1975, cơ quan hành pháp của chính phủ đã thành lập một Ủy ban tang lễ để xây dựng đài tưởng niệm. Thiết kế, bởi kiến trúc sư Dương Trác Thành, đã được chọn trong một cuộc thi. Thiết kế của Dương đã kết hợp nhiều yếu tố của kiến trúc truyền thống Trung Quốc để gợi nhớ đến Trung Sơn Lăng ở Nam Kinh, Trung Quốc. (Quốc dân Đảng, do Tôn Trung Sơn sáng lập và Tưởng lãnh đạo.) Lễ khởi công đài tưởng niệm diễn ra vào ngày 31 tháng 10 năm 1976, kỷ niệm 90 năm ngày sinh của Tưởng. Hội trường chính thức khai trương vào ngày 5 tháng 4 năm 1980, kỷ niệm 5 năm ngày mất của người lãnh đạo.

Thiết kế của Dương đã đặt tòa nhà chính ở cuối phía đông của Công viên Tưởng niệm Tưởng Giới Thạch (中正紀念公園), rộng hơn 240.000 m2 ở quận Trung Chính. Một cổng chính, Đại Trung Chí Chính (大中至正) được đặt ở đầu phía tây trên Đại lộ số 6, cổng Đại Trung Môn (大忠門) nằm ở phía bắc của đường Hsin Yi (Xinyi), và cổng Đại Hiếu Môn (大孝門) nằm ở phía nam trên đường Đông Ai Kuo (Aiguo). Đại lộ Homage, giáp với những bụi cây được cắt tỉa cẩn thận, kết nối sảnh chính với quảng trường.